Nguyễn Cơ Thạch tên khai sinh là Phạm Văn Cương, sinh ngày 15 tháng 5 năm 1921 tại xã Liên Minh, huyện Vụ Bản, tỉnh Nam Định. Ông tham gia Tổ chức Thanh niên Dân chủ rồi Thanh niên Phản đế tại Nam Định (1937–1939), bị thực dân Pháp bỏ tù tại Nam Định, Hòa Bình, Sơn La (1940-1945).

Năm 1943, trong nhà tù Sơn La, ông được kết nạp vào Đảng Cộng sản Đông Dương.

Ông lãnh đạo cướp chính quyền tại Nam Định (tháng 8 năm 1945).

Tháng 9 năm 1945 về công tác tại Bộ Quốc phòng, làm Bí thư cho Đại tướng Võ Nguyên Giáp; sau đó giữ chức vụ Chánh Văn phòng Quân uỷ Trung ương, Bí thư đảng uỷ các cơ quan Bộ Quốc phòng và Tổng tư lệnh (1947–1949).

Sau đó ông chuyển sang công tác chính quyền và Đảng vụ, làm Phó Bí thư rồi Quyền Bí thư tỉnh uỷ kiêm Chủ tịch Uỷ ban Kháng chiến Hành chính tỉnh Hà Đông (tháng 5 năm 1949 – tháng 5 năm 1951); Uỷ viên Đảng Đoàn và Uỷ viên Uỷ ban Kháng chiến hành chính Liên khu 3, Bí thư Đảng ủy các cơ quan của Liên khu (1949–1954).